人 
inaX iv EF 期 |- 
http://www.arocmag.com/article/02-2019-08-064.html 计算 机 应 用 研究 


Tt 
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考虑 排 错过 程 引 进 故障 的 开源 软 伯 


米 晓 萍 ， 王 金 勇 * 
(山西 大 学 软件 学 院 ， 太 原 030006) 


摘 要 : 近年 来 ， 开 源 软 件 在 软件 行业 很 受 欢迎 。 但 是 ， 开 源 软 件 的 可 靠 性 却 受 到 人 们 的 广泛 质疑 。 如 何 评估 开源 软 
件 的 可 车 性 是 一 个 重要 的 问题 。 与 传统 的 闭 源 软件 相 比 ， 在 建立 开源 软件 可 靠 性 模型 时 ， 必 须 考虑 故障 引入 和 故障 检 
测 与 排 错 之 间 的 延迟 时 间 这 两 个 因素 。 考 虑 了 排 错过 程 和 不 完美 调试 现象 ， 提 出 了 相应 的 开源 软件 可 靠 性 模型 。 并 且 
用 两 个 开源 软件 故障 数据 集 实 来 验证 提出 模型 的 拟 合 性 能 与 预测 性 能 。 实 验 结 果 表 明 ， 提 出 的 模型 在 开源 软件 可 靠 性 
评估 中 具有 良好 的 拟 合 和 预测 性 能 。 提 出 的 模型 可 以 用 于 开源 软件 在 实际 的 开发 过 程 中 的 可 靠 性 评估 。 
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Software reliability models for open source software considering correction process and fault 
introduction 


Mi Xiaoping, Wang Jinyong+ 
(School of Software Engineering Shanxi University, Taiyuan 030006, China) 


Abstract: Recently, open source software is popular in software industry. However, the reliability for open source software is 
widely questioned by people. How to assess the reliability of open source software is an important issue. Compared with 
traditional closed source software, two factors, i. e. fault introduction and the delay time between the fault detection and 
correction are necessarily considered when building software reliability model of open source software. In this paper, we 


propose software reliability models for open source software considering the correction process and imperfect debugging. We 


use the experiment to validate the goodness-of-fit and predictive performance of the proposed model using two fault data sets 
of open source software. The experimental results show that the proposed models have a good fitting and predictive power in 
the reliability evaluation of open source software. The proposed models can be used to evaluate the reliability of open source 
software in the real-world development of open source software. 


Key words: software reliability; software reliability model; correction process; 1mperfect debugging; open source software. 


0 引言 们 大 多 只 考虑 故障 检测 过 程 建立 软件 可 靠 性 模型 BG-101。 例如 , a) 
完美 调试 模型 ，Goel 和 OkumotoBI 认 为 在 软件 测试 过 程 中 失效 
在 现代 信息 社会 中 ， 软 件 的 应 用 越 来 越 广泛 。 不 仅 软 件 的 。” 率 和 剩余 的 故障 数 成 正比 例 ， 提 出 了 一 种 基于 非 齐 次 泊 松 过 程 
编码 规模 和 功能 越 来 越 大 ， 而 且 其 开发 方式 也 发 生 了 很 大 的 变 ”的 软件 可 靠 性 增长 模型 (NHPP);b) 不 完美 的 调试 模式 , Goellq 
化 。 例 如 ， 近 年 来 流行 的 开源 软件 开发 方法 。 开 源 软件 的 发 展 。 是 第 一 个 提出 了 一 个 不 完美 的 调试 模型 。 
不 同 于 传统 的 闭 源 软件 开发 。RaymondI 把 开源 软件 的 开发 模 另 一 方面 ， 对 于 闭 源 软件 ， 通 常 假 设 软件 测试 过 程 中 检测 
式 称 为 Bazaar( 集 市 ), 把 传统 的 闭 源 软 件 开 发 称 为 Cathedral 到 故障 立即 被 去 除 。 换 言 之 ， 检 测 到 的 故障 数 与 排 错 〈 修 正 ) 
《大 教堂 ) 。 此 外 ， 开 源 软件 的 测试 由 开发 人 员 、 社 区 志愿 者 ”故障 数 相同 。 这 种 假设 显然 与 实际 的 软件 测试 不 一 致 。 因 为 实 
和 用 户 完成 。 由 于 开源 软件 开发 具有 开放 性 和 动态 性 特点 ， 它 。。” 际 的 故障 检测 和 排 错 之 间 存 在 时 间 延 迟 。 因 此 , Schneidewind0 
的 可 靠 性 受到 了 广泛 质疑 口 。 认为 排 错 故障 跟 检 测 故障 之 间 不 同步 。 和 否则 ， 会 低估 了 软件 中 
一 般 来 说 , 可 以 使 用 软件 可 靠 性 增长 模型 (SRGM) 来 评估 软 ”剩余 故障 的 数量 。 他 提出 了 一 种 考虑 故障 修正 过 程 的 时 间 延 迟 
件 可 靠 性 和 预测 软件 中 剩余 故障 的 数量 。 对 于 传统 的 闭 源 软 伯 变量 建 模 方法 。Xie 和 Zhaol2 修 改 Schneidewind 模型 ， 并 提出 
来 说 ， 在 过 去 的 四 十 年 里 已 经 开发 了 许多 软件 可 靠 性 模型 。 他 时间 延迟 作为 增 函 数 的 软件 可 靠 性 模型 。 随 后 ， 研 究 者 提出 了 
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一 系列 与 时 间 延 迟 有 关 的 闭 源 软件 可 靠 性 模型 03-17。 
在 开源 软件 可 靠 性 建 模 方面 , Tamura 和 Yamadall8 提 出 一 | 
种 基于 随机 微分 方程 的 软件 可 靠 性 模型 ， 但 只 考虑 故障 检测 过 在 这 一 节 中 ， 介 绍 在 软件 测试 过 程 中 考虑 故障 排 错 已 有 的 
程 。Zou 和 Davis09 用 几 种 传统 的 经 典 闭 源 软件 可 靠 性 模型 对 ”相关 软件 可 靠 性 模型 。 在 故障 检测 和 故障 排 错 方面 ， 有 关 文 献 
开源 软件 进行 可 靠 性 评估 。 实 验 结果 表明 ， 传 统 的 闭 源 软 件 可 已 进行 了 一 些 研究 。 例 如 ， 在 闭 源 软 件 软件 可 靠 性 建 模 方面 ， 
靠 性 模型 可 以 用 来 评估 开源 软件 的 可 靠 性 。 特 别 是 ， 基 于 威 布  Schniedewind[11] 把 故障 检测 和 排 错 之 间 的 时 间 延 迟 作 为 一 个 
尔 分 布 的 软件 可 靠 性 模型 在 评估 开源 软件 可 靠 性 方面 具有 更 好 ”随机 变量 并 且 服 从 指数 分 布 ， 提 出 了 一 种 考虑 故障 修正 过 程 的 
的 拟 合 和 预测 性 能 。 Li 等 人 29 考虑 开源 软件 开发 过 程 中 志愿 者 。 软件 可 靠 性 模型 。Xie 和 Zhao[12] 认 为 ， 故 障 检 测 和 修正 之 间 
的 兴趣 随 测 试 时 间 的 变化 情况 ， 提 出 一 种 基于 故障 检测 率 随 测 ”的 时 间 延 迟 随 着 时 间 的 推移 逐渐 增加 ， 并 提出 了 一 种 考虑 时 间 
试 时 间 有 先 增 后 减 变化 的 开源 软件 可 靠 性 模型 。 延迟 作为 增 函 数 的 改进 的 软件 可 靠 性 模型 。Lo 和 Huang[13] 认 
一 般 来 说 ， 开 源 软 件 的 开发 环境 要 比 闭 源 软件 复杂 得 多 。 为 在 软件 测试 过 程 中 ， 检 测 到 的 故障 立即 被 排除 是 一 个 不 切实 
开源 软件 的 开发 和 测试 相关 人 员 比 闭 源 软件 更 具 多 样 性 。 开 源 ” 际 的 假设 ， 提 出 将 故障 检测 和 修正 过 程 综合 考虑 来 建立 相应 的 
软件 的 管理 比 闭 源 软件 更 松散 。 开 源 软件 的 开发 过 程 比 闭 源 软 。 软件 可 靠 性 模型 。 Huang 和 Lin[14] 也 提出 了 一 个 考虑 故障 依赖 
件 更 具 动 态 性 。 因 此 ， 使 用 闭 源 软件 可 靠 性 模型 来 评估 开源 软 。” 和 故障 检测 与 修正 之 间 的 时 间 延 迟 的 软件 可 靠 性 模型 。Wu 等 
件 的 可 靠 性 ， 这 与 实际 的 软件 测试 环境 是 不 完全 一 致 的 。 虽 然 。 信人 [15] 考虑 了 故障 的 依赖 性 性 ， 并 建立 了 另 一 种 考虑 故障 检测 
一 些 开源 软件 的 可 靠 性 模型 已 经 建立 ， 可 以 用 来 评估 开源 软件 和 修正 过 程 时 间 延 迟 的 软件 可 靠 性 模型 。Xie 等 人 [16] 考 虑 了 故 
在 某 些 软 件 测试 情况 下 的 可 靠 性 ， 但 大 多 数 都 是 基于 故障 检测 ， 障 检 测 和 排 错过 程 之 间 的 存在 时 间 延 迟 现象 ， 提 出 了 相应 的 软 
建立 的 ， 没 有 考虑 故障 排 错 和 故障 检测 之 间 的 时 间 延 迟 情况 。 件 可 靠 性 模型 ， 并 给 出 了 考虑 故障 检测 和 排 错过 程 的 最 优 软 件 
而 实际 上 在 开源 软件 测试 过 程 中 ， 存 在 着 故障 检测 和 排 错 之 间 ”发 布 时 间 的 成 本 模型 。Peng 等 人 [21] 通 过 整合 测试 工作 量 和 故 
的 时 间 延 迟 现象 。 例 如 ， 在 Apache 开源 软件 项 目 中 ， 检 测 到 ” 障 引 入 现象 ， 提 出 了 一 种 闭 源 软件 可 靠 性 模型 。 
的 错误 将 被 标记 为 创建 、 更 新 和 人 解决 时 间 等 。 检 测 到 的 故障 状 最 近 , Liu 等 人 [17] 提 出 了 一 种 基于 马尔 可 夫 的 软件 可 靠 性 
态 可 以 开放 、 重 新 开放 、 解 决 和 关闭 等 。 因 此 ， 很 明显 看 到 开 ”评估 方法 , 并 采用 加 权 最 小 二 乘 估计 方法 对 模型 参数 进行 估计 。 
源 软件 中 检测 故障 与 排 错 故障 之 间 存 在 时 间 延 迟 问 题 。 另 外 ， Liu 等 人 [22] 认 为 故障 检测 和 排 错 过 程 之 间 的 时 间 延 迟 是 服从 
于 故障 已 被 标记 为 已 解决 或 已 关闭 , 可 以 在 以 后 重新 被 开放 ， 间 数 或 威 布 尔 分 布 的 随机 变量 ， 并 提出 了 相应 的 软件 可 靠 性 模 
说 明 在 排除 该 故障 时 ， 原 故障 没有 被 完全 消除 或 引入 新 故障 。 型 。 他 们 还 建立 了 多 版 本 软件 可 靠 性 模型 ， 并 使 用 开源 软件 故 
因此 , 在 开源 软件 测试 过 程 中 , 在 建立 开源 软件 可 靠 性 模型 时 ， 障 数据 集 来 验证 相关 模型 的 性 能 。 此 外 ，Yang 等 人 [23] 假 设 故 
还 需要 全 面 考 虑 故障 引入 现象 。 障 检测 和 排 错过 程 之 间 的 时 间 延 迟 服 从 伽 马 〈Gamma) 分 布 ， 
本 文 提出 了 考虑 开源 软件 测试 过 程 中 的 故障 排 错过 程 和 故 建立 了 多 版 本 软件 可 靠 性 模型 。 他 们 还 使 用 了 两 个 开源 软件 
障 引入 现象 的 软件 可 靠 性 模型 。 用 最 小 二 乘 估计 (LSE) 估计 故障 数据 集 来 验证 模型 的 性 能 。 由 于 开源 软件 的 开发 和 测试 环 
模型 的 参数 。 并 且 使 用 开源 软件 的 两 个 故障 数据 集 验 证 了 模型 境 的 复杂 性 ， 建 立 开 源 软件 的 可 靠 性 模型 是 非常 困难 的 。Ullah 
的 性 能 。 实 验 结果 表明 ， 考 虑 故障 排 错过 程 和 故障 引入 现象 的 等 人 [24] 提 出 了 一 种 优化 选择 模型 的 方法 ， 并 对 已 建立 的 软件 
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软件 可 靠 性 模型 具有 良好 的 故障 拟 合 和 预测 性 能 。 可 靠 性 模型 进行 优化 选择 。 最 终 选 择 出 最 优 的 模型 来 进行 开源 
本 文 的 贡献 如 下 ，a) 首 先 提 出 了 考虑 故障 排 错 和 故障 引入 ”软件 可 靠 性 评估 。 

的 开源 软件 可 靠 性 模型 ，b) 故 障 检 测 与 排 错 之 间 的 时 间 延 迟 和 虽然 已 建立 地 开源 软件 可 靠 性 模型 考虑 了 故障 检测 和 故障 

故障 引入 现象 是 建立 开源 软件 可 靠 性 模型 的 两 个 重要 因素 ; c) ” 排 错 之 间 存 在 延迟 的 问题 ， 但 在 实际 的 开源 软件 开发 和 测试 过 


源 软件 的 可 靠 性 。 用 于 建立 地 时 间 延 迟 的 开源 软件 可 靠 性 模型 的 假设 并 不 符合 实 


在 开源 软件 的 实际 开发 过 程 中 ， 提 出 的 模型 可 以 被 用 来 评估 开  ” 程 中 , 由 于 没有 考虑 故障 去 除 过 程 可 能 引进 故障 的 情况 , 因此 ， 
Bb 


下 十 

本 文 使 用 的 符号 说 明 如 下 : 示 的 开源 软件 去 除 故障 的 情况 。 它 们 假设 的 合理 性 受到 质疑 。 
符号 说 明 符号 说 明 在 本 文中 ， 提 出 一 种 不 完美 排 错 的 开源 软件 可 靠 性 模型 ， 它 是 
期 望 软件 中 最 初 存在 故 在 充分 考虑 实际 的 开源 软件 故障 检测 和 故障 去 除 之 间 存 在 时 间 

a a(t) 故障 内 容 (总 个 数 ) 函数 i : 、 
障 的 数量 延迟 的 基础 上 ， 并 且 考虑 去 除 故 障 时 可 能 引进 故障 的 情况 来 建 
b 故障 检测 率 N(t) 故障 检测 出 的 数量 立 相 应 的 开源 软件 可 靠 性 模型 。 由 于 考虑 了 在 开源 软件 故障 去 
c ”故障 排 错 (修正 ) 率 ‖ m，。 实际 故障 检测 出 的 数量 除 时 ， 可 能 引进 故障 的 情况 ， 因 此 ， 建 立地 开源 软件 可 靠 性 模 
reg ,。 实际 故障 排 错 (修正 ) 的 数 型 更 符合 实际 的 故障 检测 和 故障 去 除 变 化 的 过 程 ， 建 立地 开源 

量 软件 可 靠 性 模型 的 假设 更 加 的 合理 和 可 信 。 


k 样本 大 数量 
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2 不 完美 排 错 的 开源 软件 可 靠 性 模型 


2.1 基于 NHPP 的 一 般 软 件 可 靠 性 模型 

假设 {NO, f0} 是 一 个 计数 过 程 ， 表 示 到 t 时 刻 为 止 ， 累积 
检测 故障 的 数量 ， 并 服从 非 齐 次 泊 松 分 布 CNHPP) ， 那 么 基 
于 NHPP 的 软件 可 靠 性 增长 模型 的 均值 函数 (MVF) 可 以 表示 
如 下 ， 


exp(-m(n) 0) 


Pr{N(1)=n}= 


一 般 来 说 ， 大 多 数 的 基于 NHPP 的 软件 可 靠 性 增长 模型 是 
假设 在 软件 测试 过 程 中 瞬间 检测 到 的 故障 数量 和 软件 中 剩余 的 
故障 数量 成 正比 ， 如 G-O 模型 [3]， 延 迟 的 S 形 模型 (delayed 
S-shaped) [4] 和 拐点 S 形 模 型 (Inflected S-shaped) [5]。 可 以 
用 下 面 的 方程 表示 ， 


m, (t+ AD-m,(t) = D(a(D) —m, CD)+o(A (2) 
= ad, 
— Pe = palD) -mu 人 @) 


在 方程 (3) 中 ， 
ma(t)=a(1-exp(-bt))， 它 是 


1 -2 有 解 方 程 可 得 , ma(t)=a(1-(1+bt)exp(-b0)); 当 a(D=a 
十 


当 a(t)=a 和 b(t)=b， 那 么 解 方 程 可 得 
G-O 模型 ; 当 a(t)=a 和 


b 
2 l1+Bexp(-b?) : 
a(ll ~exp(—b7)) 
1+Bexp(-bt) 
于 在 软件 测试 过 程 中 存在 故障 检测 和 排 错 之 间 的 延迟 时 
闻 ，Schneidewind00 提 出 了 一 种 考虑 故障 修正 和 故障 检测 非 同 
步 的 时 间 延 迟 模型 。 它 可 以 如 下 所 示 ， 
11.(1) = 711 一 Al1) (4) 

上 式 中 ，At 是 一 个 延迟 时 间 变 量 。Xie 和 Zhaol23 修 改 
schneidwind 的 模型 , 他 们 提出 的 其 他 形式 , 例如 , 在 (t+AL ) 
时 间 区 间 ， 排 错 率 和 检测 出 故障 但 未 去 除 的 故障 数量 正比 。 它 
可 以 表示 如 下 ， 


程 可 得 ， 


区 
过 


1777 (71) = 


加 OO) _ cm (D) —m. (1) 


2.2 整合 不 完美 调试 和 排 错过 程 的 模型 
提出 模型 假设 : 
(1) 故障 检测 六 

CNHPP) 0223]。 


《2) 瞬 时 检测 到 故障 的 数量 与 软件 中 剩余 故障 的 数量 成 


过 程 与 故障 排 错 过 程 服从 非 齐 次 泊 松 过 程 


导 


比 21。 


(3) 瞬 时 修正 后 的 故障 数量 与 软件 检测 到 的 故障 但 未 去 除 
的 故障 数量 成 正比 023。 
(4) 检测 出 的 故障 不 会 立即 被 去 除 , 在 排 错时 可 能 以 概率 
& 引入 新 的 故障 。 
从 上 述 假设 出 发 ， 可 以 建立 如 下 微分 方程 ， 


IV 会 
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米 晓 萍 ， 
2 的- 击 (0) 
dt 
di 
0 0) 
dal) _ dim) 
dt dt 
已 知 条 件 a(0)=a， 方 程 (8) 可 以 得 出 下 式 ， 
a(D)=a(L+ 0 m(t)) (9) 
当 b(D=b， 把 等 式 (9) 代入 等 式 (6) ， 可 以 得 出 下 式 ， 


m, (1) 一 4 exp(_pd — 0)) (10) 


等 式 (9) 代入 等 式 (7) ， 可 以 得 出 下 式 ， 


ac 人 1]_exp(-ct)_exp(-—b(] — 0)1) —exp(—c?t) S 
c—b(l—a) 


当 c(Db=c， 把 


71.(1) = 


1 一 oo c C 


(11) 
此 ， 故 障 检测 和 不 完美 排 错过 程 的 均值 函数 可 以 如 下 所 


| 


I 


ma lt) 


(exp(-b(1—0)7) 
一 仅 


C ,1 exp(-ct)_ exp(-pU 一 oo 力 一 exp( 一 cb 


m.(D) = 
1 一 Q c C c—b(—a) 


(12) 
2.3 提出 的 模型 的 推导 过 程 
1) 把 公式 (9) 代入 公式 (6) ， 那 么 方程 (6) 可 以 被 表 
示 为 一 下 形式 ， 


dm, (1) 


一 -一 一 a 
a—(l—o)m,(t) a 人 
上 式 两 边 积分 ， 


[addn(a-d -m= -| ba 
In(a—(1—o)m,(n)) = [-a —o)bdt 
a—(l—o)m,(t)= Cexp(—(l— oo)b?) 


其 中 C1 为 常量 。 当 t=0， ma(0)=0. 因此 ， 
a—(l—o)m,(t)= aexp(—(l—Q)b?) 
m, (1) (1—exp(—b(]— 0)7)) (14) 


2) 设 CO= | cdx =ct， 那 么 公式 7) 可 以 改写 成 以 下 形式 ， 
pn } Ca)m,() = CGO) a5) 
exp(C(D)dmc(b+exp(C(D)C(Dmc(t)dt=exp(C(D)C(Dmd(t)dt 
两 边 积分 得 ， 
[dlexp(C)m, (0)) = [exp( CY) CDm, (Dar 
exp(C(D)me(D= exp(C) Cm Dd (16) 


把 公式 (9) 代入 公式 (16) ， 


chinaXiv 合 作 | 
录用 稿 米 晓 萍 ， 等 : 考虑 有 


一 Tl 
次 由 
垃 二 
rE 
让 


3.2 ”模型 比较 标准 


m.(t) = exp(—ct) ex (ct)}cm, (Dat 
. | : 1) 模型 的 拟 合 性 能 比较 标准 (Goodness-of-fit criteria) 


k 
m, (t) =exp( — of exp(ct)c 全 (1—exp(—b(] -obD)dt 2m, (6) 一 mh 了 (20) 
1 一 Q MSE， — i=l E 


= exp(—c?) ES (| exp(c1)dt 一 [exp(et —b(l— on) dt) 
l=@ *0 k 
Sm) -nT 


= exp(-ed(T exp(e) | = exp(e -bl -a)D)aD MsE.- 台 一 CD 
-p(n(e) D- 其 中 , MSEd 和 MSE。 分 别 表示 故障 检测 和 故障 排 错过 程 中 
-4 epCen(L(emp(eb-D -emP(C-b- 四 加 -1) 的 均值 平方 误差 。 越 小 的 MSEs 和 MSE。 值 ， 表 示 模 型 拟 合 性 
1 一 Q C c—b(l—o) 能 越 好 。 
_ ac (1_exp(-cD)_exp(-b1— 0D -exp(-en) 证 
lI-ac ec c-b(l -0) , 过 ml) mY i 
本 R =1 Fo ee :一 过 两 (22) 
因此 ， 公 式 (14) 和 (17) 分 别 是 故障 检测 和 故障 排 错 的 = 
二 一” 软件 可 靠 性 模型 。 
.二 24 模型 参数 估计 方法 区 和 Wm) 1 2 
EN 本 文 所 采用 的 参数 估计 方法 是 最 小 二 乘 估计 (LSE) 。 mw KE 
三 于 故障 排 错过 程 依赖 于 故障 检测 过 程 ， 因 此 在 参数 估计 中 必须 I 
加 同时 考虑 故障 检测 模型 和 故障 排 错 模型 。 因 此 ， 考 虑 到 故障 检 其 中 , R 和 RR 被 用 来 评测 故障 检测 和 故障 排 错 过 程 中 模 
GD 测 和 排 错过 程 I9， 可 以 使 用 下 面 的 公式 来 估计 模型 参数 。 型 的 拟 合 性 能 。R? 和 R? 的 值 越 接近 于 1， 模 型 的 拟 合 性 能 越 
D E 好 。 
Sm mm) om en a) 模型 的 预测 性 能 比较 标准 ， 
上 式 对 提出 模型 参数 变量 求 偏 微 分 得 ， b) 
69 69 6 6 oe ee 
Ga 6 6c a Oe (24) 
联 立 解 上 面 的 微分 方程 可 求 出 提出 模型 的 参数 值 。 国 
Mm, (fi) 一 1 
模型 拟 合 和 预测 性 能 比较 7 (25) 
在 本 节 中 ， 使 用 了 两 个 开源 软件 的 故障 数据 集 来 估计 本 文 RE4 和 RE 分 别 表示 故障 检测 和 故障 排 错 的 相对 误差 (the 


所 用 的 模型 的 参数 。 此 外 ， 使 用 了 四 个 模型 比较 标准 来 评估 模 ”relative errors, RE)。 相 对 误差 是 一 步 预测 (one-step prediction ) ， 
型 的 拟 合 性 能 ， 即 ，MSEs、 MSE。、Rj 和 Re。 ， 还 用 了 两 个 模 用 于 测量 模型 的 预测 性 能 。 公 式 (24〉 和 “25) 分 别 表示 在 故 
型 的 比较 标准 来 评估 模型 的 预测 性 能 ， 即 ，REa 和 RE。。 对 提 障 检测 和 故障 排 错过 程 中 ， 到 tt: 时刻 为 止 检 测 或 去 除 故障 数据 
出 的 模型 还 进行 了 相应 的 参数 敏感 性 分 析 ， 以 便 进一步 考察 哪 来 估计 模型 的 参数 值 ， 并 计算 tsl 时刻 故障 检测 和 故障 排 错 的 
些 参数 对 提出 的 模型 有 重要 的 影 数量 。REa 和 RE 越 接近 于 零 ， 表 示 模 型 的 预测 性 能 越 好 。 当 
3.1 开源 软件 故障 数据 集 REd 和 REe 大 于 零 时 ， 表 示 高 估 了 软件 中 故障 检测 和 故障 去 除 
本 文 所 使 用 的 两 个 开源 软件 故障 数据 集 来 自 文 献 [23] 。 的 数量 。 否 则 ， 当 RE 和 REe。 小 于 零 时 ， 表 示 低 估 了 软件 中 故 
它们 是 从 在 线 bug 跟踪 系统 Bugzilla 中 Mozilla (https://bugzilla. 障 检测 和 故障 去 除 的 数量 。 
mozilla.org/) 和 GNOME(https://bugzilla.gnome.org/) 两 个 开源 软 3.3 ”模型 性 能 比较 和 分 析 
件 项 目 收集 和 重新 整理 得 到 的 。 故 障 数 据 集 之 一 是 Firefox 3.0、 3.3.1 模型 拟 合 性 能 比较 (Goodness-of-Fit) 
3.5 和 3.6, 它们 是 三 个 连续 版 本 , 并 且 从 Appendix 列表 中 收集 从 表 1， 可 以 看 到 , 在 开源 软件 项 目 Firefox 3.0、3.5 和 3.6 
得 到 。 另 一 个 故障 数据 集 是 来 自 GNOME 开源 软件 项 目 ， 包 括 中 提出 模型 的 MSEa 逐渐 减少 。 这 表明 提出 模型 的 故障 检测 拟 
四 个 连续 的 版 本 , 它们 也 是 从 Appendix 列表 中 收集 得 到 的 。 例 合 性 越 来 越 好 。 但 是 ， 提 出 模型 的 MSEe 却 在 开源 软件 项 
如 ，2.0x，2.1x，2.2x 和 2.3x。 本 文 使 用 的 故障 数据 集 更 详细 Firefox 3.0、3.5 和 3.6 中 首先 是 下 降 ， 然 后 是 增长 的 趋势 。 这 
信息 ， 请 参阅 文献 [23]。 一 结果 指出 故障 排 错过 程 是 一 个 复杂 的 过 程 ， 受 到 许多 主观 因 
素 的 影响 ， 即 调试 者 调试 能 力 、 调 试 技巧 和 调试 心理 变化 等 。 
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因此 ， 故 障 排 错过 程 比 故障 检测 过 程 有 更 大 的 波动 性 。 此 外 ， 


提出 模型 的 及 和 玉 : 与 MSEd 和 MSEc 在 模型 的 拟 合 变 化 上 具 


有 相同 的 变化 趋势 。 
表 1 100% 的 开源 故障 数据 集 (Firfox) 对 提出 模型 的 
拟 合 性 能 进行 比较 
Version Firefox 3.0 Firefox 3.5 Firefox 3.6 
a=55.3675 a=515.0846 a=169.4776 
提出 模型 b=0.1107 b = 0.0032 b=0.0154 
参数 估计 c=0.0268 c=0.0688 c=0.0445 
Q.=0.0004 Q.=0.0002 Q.=0.0003 
MSEa 23.46 20.04 7.9 
MSE. 17.46 1.48 12.37 
Ry 0.8671 0.8911 0.9087 
R 0.8790 0.9927 0.8700 
表 2 100% 的 开源 故障 数据 集 (Gnome2) 对 提出 模型 的 
拟 合 性 能 进行 比较 
Gnome2 Gnome2 
Gnome2 Control Gnome2 Control 
Version Control Control 
Center 2.1x Center2.3x 
Center 2.0x Center2.2x 
a=50.4212 a=170.1584 a=186.554 a=246.9515 
提出 模型 b=0.1874 b=0.0276 b=0.0257 b=0.0192 
参数 估 计 c=0.0494 c=0.1608 c=0.0050 c=0.0647 
o=0.0111 o=0.0914 Q=0.2641 co=0.1082 
MSEa 52,]12 25.17 3.09 2.62 
MSE. 87.25 42.55 21.66 17.15 
RR 0.8282 0.8741 0.9788 0.9745 
Re 0.5377 0.4753 0.2697 0.9023 


从 表 2 可 以 看 到 ， 提 出 模型 的 MSEa 在 开源 软件 项 
Gnome2 Control-center 2.0x、2.1x、2.2x 和 2.3 中 逐渐 降低 。 提 


出 模型 的 MSE。 在 开源 软件 项 
2.1x、2.2x 和 2.3 中 也 是 逐渐 减少 。 


上 是 逐渐 增加 的 。 而且， 提出 模型 的 R? 在 姑 
2.2x 到 2.3 却 是 首先 减少 ， 
能 够 得 出 在 开源 软件 项 目 


Gnome2 Control-center 2.0x、2.1x、 


然后 增加 。 从 R? 变化 情况 看 ， 


Gnome2 Control-center 2.0x、 


另外 ， 提 出 模型 的 Ri 基本 


F 源 软件 项 目 


Gnome2 Control-center 中 排 错 过 程 仍 是 一 个 复杂 和 不 规律 变化 


的 情况 。 例 如 ， 提 出 模型 的 R2 


定性 。 


从 表 1 和 2 也 能 够 看 到 提出 模型 


在 开源 软件 项 
Control-center 2.2x 的 值 较 低 ， 也 说 明 开源 软件 排 错过 程 的 不 确 


的 MSEu 在 开源 软件 项 目 


Gnome2 


源 软件 项 
源 软件 项 
的 变化 趋势 相 

从 图 1 也 


Gnome 的 变化 趋势 一 致 。 但 是 提出 模型 的 R? 在 开 
Firefox 和 提出 模型 的 R? 在 开源 软件 项 


反 。 一 个 是 先 增加 后 减少 , 一 个 是 先 关 
能 看 到 提出 模型 的 故障 检测 和 故障 排 


少 后 增加 。 
除 的 数量 随 


测试 时 间 的 变化 情况 。 图 1 (a) 和 图 1 (b) 和 (c) 相 比较 ， 
提出 模型 的 故障 检测 和 故障 排 错过 程 的 拟 合 性 能 略 差 。 图 1(d) 
与 图 1 (e) 、(g) 相 比较 ， 提 出 的 模型 的 故障 检测 和 故障 排 
普 过 程 的 拟 合 性 能 较 差 。 

从 上 面 的 分 析 ， 可 以 得 出 下 面 几 点 ， 

a) 提出 模型 的 故障 检测 过 程 的 拟 合 性 能 要 好 于 提出 模型 
的 故障 排 错过 程 的 拟 合 性 能 。 


b) 在 开源 软件 时 


排 错 的 拟 合 性 


o) 在 开源 软件 


测 过 程 更 加 困 


期 的 版 本 中 , 提出 
能 相当 ， 都 很 一 般 。 

开发 和 测试 过 程 中 , 故障 排 错过 程 比 故障 检 
难 、 复 杂 和 不 确定 性 。 


模型 的 故障 检测 和 故障 


T 


d) 一 般 来 说 , 提出 的 模型 在 整个 开源 软件 故障 数据 集 ( 包 


括 故障 检测 和 


3.3.2 模型 预测 性 能 比较 


故障 排 错 故 障 数据 集 ) 上 


较 好 的 拟 合 性 能 。 


从 图 2 中 
故障 排 错过 程 
模型 在 开源 软 
有 更 高 的 预测 
复杂 和 多 变 。 
检测 和 故障 排 


从 图 3 可 
测 过 程 比 故障 
故障 的 数量 比 
3 还 可 以 看 到 
测 未 来 的 失效 


可 以 看 出 ， 提 出 的 模型 在 开源 软件 中 期 版 本 中 的 
比 故 障 检测 过 程 具有 更 好 的 预测 性 能 。 但 提出 的 
件 后 期 版 本 中 的 故障 检测 过 程 比 故障 排 错过 程 具 
精度 。 这 说 明 故 障 排 错过 程 比 故障 检测 过 程 更 加 
一 般 来 说 ， 从 图 2 可 以 看 到 ， 提 出 的 模型 在 故障 
错过 程 中 都 有 很 好 的 预测 性 能 。 

以 看 到 ， 提 出 的 模型 在 整个 故障 数据 集 上 故障 检 
排 错过 程 具有 更 好 的 预测 性 能 。 它 表明 预测 排 错 
预测 检测 到 的 故障 数量 要 困难 得 多 。 此 外 ， 从 图 
， 提 出 的 模型 在 故障 检测 和 故障 排 错 上 有 良好 预 
和 修正 行为 。 


3.3.3 提出 模型 的 敏感 性 分 析 
敏感 性 分 析 是 确定 模型 中 哪些 参数 有 重要 影响 的 一 种 方 


二 < 


型 中 其 它 参 数 
从 图 


去 。 人 敏感 性 分 析 的 一 般 方法 是 改变 模型 中 


4 中 可 以 清楚 地 看 到 提出 模型 中 参数 a、Q 和 c 有 


让 模 


个 参数 的 值 


值 保持 不 变 39。 


[Pl 
uy 


要 的 影响 。 直 
发 和 测试 过 程 
软件 在 开发 和 


觉 上 来 讲 ， 提 出 的 模型 中 参数 o 与 开源 软件 在 开 
中 的 故障 引入 有 关 。 提 出 的 模型 中 参数 c 与 开源 
测试 过 程 中 的 故障 排 错 现 象 有 关 。 提 出 的 模型 中 


参数 a 与 开源 软件 在 开发 和 测试 过 程 中 的 初始 故障 总 数 有 关 。 


Firefox 和 提出 模型 的 MSEa 在 开源 软件 项 目 Gnome 的 变化 趋势 
一 致 ， 都 是 逐渐 下 降 的 。 但 是 提出 模型 的 MSE 在 开源 软件 项 


Firefox 和 提出 模型 的 MSE。 在 开源 软件 项 
趋势 不 一 致 ， 一 个 是 先 减少 后 增加 ; 
提出 模型 的 Rj 在 开源 软件 项 目 Firefox 和 提 


一 个 是 逐渐 减少 。 
模型 的 R 在 开 


Gnome 的 变化 


此 外 ， 


它们 都 与 开源 
重要 因素 有 关 
的 时 间 延 迟 以 
析 的 结果 与 开 
障 检测 与 排 错 
个 重要 因素 。 


软件 在 开发 和 测试 过 程 中 影响 软件 可 靠 性 建 模 的 
， 如 引入 故障 的 数量 、 故 障 检测 和 故障 排 错 之 间 
及 开源 软件 中 的 初始 故障 总 数 。 因 此 ， 敏 感性 分 
源 软件 的 实际 测试 情况 是 一 致 的 。 故 障 引 入 和 故 
之 闻 的 时 间 延 迟 是 建立 开源 软件 可 靠 性 模型 的 两 
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Firefox 3.0 


Actual Fault Detection 
9 |----- Actual Fault Correction 
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分 析 (d) 参 数 c 的 敏感 性 分 析 
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本 文 提出 了 一 种 整合 故障 排 错 和 故障 引进 过 程 的 开源 软 伯 
可 靠 性 模型 。 特 别 是 对 故障 引入 现象 进行 了 相应 的 研究 ， 并 首 
次 将 其 整合 到 开源 软件 的 排 错过 程 中 。 使 用 了 两 个 真实 的 开源 
软件 故障 数据 集 来 验证 模型 的 拟 合 性 能 和 预测 性 能 。 实 验 结果 
表明 ， 提 出 的 模型 具有 良好 的 拟 合 和 预测 性 能 ， 可 以 应 用 于 开 
源 软件 的 可 靠 性 测试 过 程 中 。 本 文 还 讨论 并 分 析 了 提出 模型 的 
参数 敏感 性 。 结 果 表明 参数 a、c 和 以 对 模型 有 
故障 的 引入 和 故障 检测 与 排 错 之 间 的 时 间 延 迟 是 两 个 重要 医 
素 ,建立 开源 软件 可 靠 性 模型 时 需要 慎重 考虑 这 两 个 重要 因素 。 
虽然 提出 的 模型 可 以 有 效 地 评估 某 些 环境 下 的 开源 软件 的 
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可 靠 性 ， 但 还 需要 做 深入 的 研究 。 例 如 ， 剩 余 的 未 修正 的 排 错 
率 随 着 测试 时 间 不 规则 波动 和 故障 引进 的 非 线性 变化 等 ， 这 些 
现象 是 开源 软件 可 靠 性 建 模 未 来 需要 研究 的 方向 。 
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